Combining Process Replication and Checkpointing for Resilience on Exascale Systems

Processor failures in post-petascale parallel computing platforms are common occurrences. The traditional fault-tolerance solution, checkpoint-rollback, severely limits parallel efficiency. One solution is to replicate application processes so that a processor failure does not necessarily imply an application failure. Process replication, combined with checkpoint-rollback, has been recently advocated in the literature. We first derive novel theoretical results for exponential failure distributions, namely exact values for the Mean Number of Failures To Interruption and the Mean Time To Interruption for Exponential. We then extend these results to arbitrary failure distributions, obtaining closed-form solutions for Weibull distributions. Finally, we evaluate process replication in simulation using both synthetic and real-world failure traces, identifying scenarios in which process replication is beneficial. We also find that although the choice of the checkpointing period can have a high impact on application execution in the no-replication case, this choice is no longer critical when process replication is used. Key-words: Fault-tolerance, parallel computing, checkpoint/restart, process replication ∗ University of Hawai’i at Mānoa, USA † LIP, Ecole Normale Supérieure de Lyon, France ‡ University of Tennessee Knoxville, USA § Institut Universitaire de France. ¶ INRIA, Lyon, France ha l-0 06 97 18 0, v er si on 2 12 M ar 2 01 3 Utilisation conjointe de la réplication et de la prise de points de sauvegarde pour la résilience sur plates-formes exascales Résumé : Les pannes de processeurs seront des évènements courants dans les plates-formes post-petascale de calcul parallèle. La solution traditionnelle de tolérance aux pannes, la prise de points de sauvegarde et la ré-exécution, limite fortement l’efficacité des applications parallèles. Pour lever cette limitation, une solution est de répliquer les processus de l’application pour qu’une panne sur un processeur n’entraîne pas automatiquement une panne de l’application. La combinaison de la réplication de processus avec la prise de points de sauvegarde a été récemment préconisée dans la littérature. Nous dérivons d’abord des nouveaux résultats théoriques pour une distribution exponentielle des pannes: nous établissons des formules exactes pour le Nombre Moyen de Pannes avant l’Échec, et le Temps Moyen avant l’Échec. Nous étendons ensuite ces résultats à n’importe quel type de distribution, avec notamment des formules closes pour les distributions suivant des lois de Weibull. Finalement, nous évaluons la réplication de processus en utilisant des traces synthétiques et des traces réelles, et nous identifions les scénarios dans lesquels la réplication est bénéfique. Nous trouvons que le choix de la période de prise des points de sauvegarde peut avoir un fort impact sur la durée d’exécution des applications quand il n’y a pas de réplication. Par contre, avec la réplication des processus, le choix de la période n’est plus important. Mots-clés : Tolérance aux pannes, calcul parallèle, checkpoint/redémarrage, réplication ha l-0 06 97 18 0, v er si on 2 12 M ar 2 01 3 Combining Process Replication and Checkpointing for Resilience 3